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(57) Abstract: A sensor arrangement (3) is 
disposed in an inclined position in the region 
of a sharpness plane (2) of a film camera 
in order to determine the distance between 
said film camera (1), especially a video 
camera, and an object in a scene. As a result 
of the inclined position of the sensor (3), 
the pixels of the object become fuzzy as the 
distance with respect to the sharpness plane 
(2) increases, The points of an image line are 
imaged on the sensor (3) as a function of the 
distance thereof to the sharpness plane (2). 
Detection of the progression of the line for 
and evaluation thereof makes it possible to 
determine the distance of said line in reality 
by return motion in an imaging function 
known per se. 



(57) Zusammenfassung: Fiir die Entfernungsbestimmung zwischen einer Bildaufnahmeeinrichtung, insbes. Videokamera, und ei- 
2 nem Objekt in einer Szene ist im Bereich der Scharfenebene (2) der Bildaufnahmeeinrichtung (1) eine Sensoranordnung (3) schrag 

angeordnet. Durch die Schragstellung des Sensors (3) werden die Bildpunkte des Objektes mit zunehmender Distanz zur Schar- 
Q fenebene (2) unscharf. Die Punkte einer Bildlinie werden auf dem Sensor (3) als Funktion ihres Abstandes zur Scharfenebene (2) 
J^. abgebildet. Die Erfassung des Verlaufes der Linienform und ihre Bewertung ermoglicht bei bekannter Abbildungsfunktion einen 
^ Ruckkehrschluss auf die Entfernung der Linie in der Realitat. 
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[ Pa tentanmeldung] 

[Bezaichnung dor Erfindung:] 
Vorf ahren und Vorrichtung zur Entfernungsbestimmung 
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[Beschreibung] 

Die Erfindung betrifft ein Verfahren und eine Vorrichtung 
zur Entfernungsbestimrnung zwischen einer Bildauf nahmeein- 
richtung, insbesondere Videokamera, und einem Objekt in 
5 einer Szene auf der Basis der Ermittlung der Unscharfe von 
Objektpunkten. Anwendung findet die Erfindung u- a, in der 
Sicherheitstechnik, in der Bildverarbeitung bei Kraftfahr- 
zeugen und in der Roboter- und Handhabungstechnik. 

[Stand der Technik] 

10 Es sind verschiedene Verfahren und Vorrichtungen zur Ermitt- 
lung von Entfernungen mittels Videosensorik bekannt: 

Stereoverfahren (zwei Sensoren) , 

• Strukturierte Beleuchtung der Szene (Ein- und Zweisen- 
sorsysteme) , 

15 • Bewegung des Sensorchips senkrecht zur Scharfenebene 

mit parallel zur Bildebene ausgerichtetem Chip. 

Diese Systeme verlangen relativ komplizierte Vorrichtungen, 
benGtigen entweder zwei Bildauf nahmeeinrichtungen oder sehr 
prazis arbeitende Mechanismen zur Bewegung des Objektivs der 
20 Bildaufnahmeeinrichtung oder des Sensors in der Scharfeebe- 
ne. 

Dariiber hinaus sind die bekannten Verfahren und Vorrichtun- 
gen sehr empfindlich gegenaber ErschUtterungen und verlangen 
eine sehr genaue Kalibrierung und Justierung. 

25 

[Aufgabe der Erfindung] 

Aufgabe der Erfindung ist es, ein Verfahren zur Entfernungs- 
bestimrnung zwischen einer Bildaufnahmeeinrichtung, insbeson- 
dere Videokamera, und einem Objekt in einer Szene zu schaf- 
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fen, das mit einer einfachen und robusten Vorrichtung ■ und 
mit nur einem Objektiv realisierbar ist sowie fur viele 
Anwendungsfalle mit ausreichender Genauigkeit ohne aufwendi- 
ge Kalibrierung und Justierung durchgeftihrt werden kann. 

5 

Die Aufgabe wird hinsichtlich des Verfahrens mit den Merkm^- 
len des 1. Patentanspruchs und hinsichtlich der Vorrichtung 
mit den Merkmaien des 8. Patentanspruchs gelfist, Vorteilhaf- 
te Weiterentwicklungen und Ausgestaltungen sind Gegenstand 
10 der Unteranspruche. 

Das erfindungsgem£&e Verfahren zur Entfernungsbestiftmung 
zwischen einer Bildauf nahmeeinrichtung, z. B. Videokamera, 
und einem Objekt in einer Szene benutzt als Vorrichtung eine 
im Bereich der Sch&rfenebene der Bildauf nahmeeinrichtung 
15 schr&g gestellte Sensoranordnung, vorzugsweise als Fl£chen- 
sensor in Form einer Matrix. 

Schrag gestellt heiJit, das die Sensoranordnung nicht in 
einer Ebene senkrecht zur optischen Achse des Bildaufnahme- 
systems steht, sondern in einem Winkel a zu dieser Ebene 
20 gekippt angeordnet ist. Dabei kann der Sensor urn eine Oder 
urn zwei Achsen im Raum gekippt sein. Durch letzteres kann 
die Unscharfe von Kanten und Konturen eines entfernten 
Objektes in horizontaler, vertikaler oder beliebiger Aus- 
richtung ermittelt werden. 

25 Auf dem Sensor werden ein oder mehrere Bildlinien eines 
Objektes ausgewahlt und die Unscharfe von Objektpunkten 
jeweils einer Bildlinie erfasst und ausgewertet. Der Un- 
schSrfeverlauf der Punkte einer Bildlinie ist ein Mali fur 
den Abstand des Objektes zur Bildauf nahmeeinrichtung . 

30 Durch die SchrSgstellung der Sensoranordnung schneidet die 
Sensorfiache die Sch£rfenebenen mehrerer Objektentfernungen. 
Die Abbildung eines ausgedehnten Objektes erscheint daher 
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nur entlang einer Geraden scharf . Mit zunehmender Entfernung 
von dieser Geraden im Bild wird die Abbildung unschSrfer. 
Fttr die Neigung der Sensorfiache urn nur eine Achse ent- 
spricht diese Gerade einer Bildzeile bzw. -spalte. Abgebil- 
5 deten Liniensegmenten eines Objektes, die nicht parallel zu 
dieser Sch&rfengeraden verlaufen, kSnnen somit Ober die 
Position der maximalen SchSrfe im Bild und die an dieser 
Stelle vom Sensor durchschnittenen SchSrfenebene eine kon- 
krete Entfernung zugeordnet werden. Dabei muss sich das 

10 Objekt im Bild nicht notwendigerweise an dieser Position 
befinden, da der UnschSrf everlauf bei ausreichender Ausdeh- 
nung des Objektes extrapoliert werden kann. Es muss aber 
berucksichtigt werden, dass der Zusammenhang zwischen der 
Entfernung von der Sch^rfengeraden im Bild und der Unsch£rfe 

15 der Abbildung nur fur rechtwinklig zur optischen Achse 
stehende Objektliniensegmente linear ist. 

Bei Objekten, die keine Bildsegmente mit senkrecht zur 
optischen Achse verlaufenden Kanten Oder Linien aufweisen, 
kann die Entfernungsbestimmung durch den Einsatz weiterer 
20 Mittel prazisiert bzw. stabilisiert werden. 

So kann bei bekannter Abbildungsfunktion eines Objektes der 
Unsch&rfeverlauf einer Linienform erfasst werden und deren 
Bewertung ermGglicht einen Ruckkehrschluss auf die Entfer- 
nung der Linie in der Realitat. 

25 Eine andere Moglichkeit, die Genauigkeit der Messergebnisse 
nach dem beschriebenen Verfahren zu erhShen, besteht in der 
Durchfuhrung von Mehrfachaufnahmen mit unterschiedlichen 
Ausrichtungen der Sensorik. Die unterschiedlich scharf e 
Abbildung der Bildinhalte ist ein direktes Aquivalent zur 

30 Entfernung der Objekte vor der Messeinrichtung. 

FOr die DurchfUhrung von Mehrfachaufnahmen sind zwei ver- 
schiedene AusfUhrungen denkbar. 
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1. Messung auf der Basis einer Sensoranordnung. 

Dazu wird der Sensor in mindestens zwei verschiedene Stel- 
lungen bewegt. Z. B. von einer definierten SchrSglage in 
eine Oder mehrere andere definierte Schraglagen, wobei eine 
5 der Schr&glagen auch den Winkel a ~ 0, also parallel zur 
Scharfenebene, annehmen kann. In diesen Stellungen wird 
jeweils ein Bild aufgenommen und ausgewertet. 

2. Messung auf der Basis mehrerer Sensoranordnungen . 
Durchftihrung zeitgleicher Aufnahmen zwei Oder mehrerer 

10 Bilder mit unterschiedlich positionierten Sensoren. Diese 
Variante ermOglicht die Messung bei hoher Eigenbewegung des 
Messsystems und zus&tzlich bewegte Teile sind nicht erfor- 
derlich. 

Eine vorteilhafte Weiterentwicklung der Erfindung besteht in 
15 der {Combination mit einer optischen Filterung, indem be- 
stimmte Teilalgorithmen in die Bildverarbeitung implemen- 
tiert werden. So kdnnen besonders weit entfernte Oder in 
bestimmten Teilbereichen der Szene befindliche Objekte 
herausgef iltert werden. 

20 

[Beispiele] 

An Hand von Zeichnungen wird schematisch der Aufba.u und die > 
Wirkungsweise der Erfindung beispielhaft erl&utert. 

Es zeigen: 

25 Fig. 1 den grundsStzlichen Aufbau der Entfer- 

nungsmessanordnung, 

Fig. 2 Abbild einer Objektlinie oder -kante auf 

der Sensoranordnung, die die Scharfen- 
ebene in einer Bildzeile schneidet, 
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Pi 9- 3 Abbild eines Objektliniensegmentes' auf 

der Sensoranordnung, das die Scharfen- 
ebene nicht schneidet, 

Fi 9- 4 Darstellung des Unscharfeverlaufs von 

5 Objektlinien unterschiedlicher Entfer- 

nungen . 

Fig. 1 zeigt schematisch den grundsatzlichen Aufbau der 
Entfernungsmessanordnung mittels visueller Sensorik. Mit dem 
10 Objektiv 1 einer Bildaufnahmeeinrichtung wird eine Szene auf 
einem Sensor 3 abgebildet. Der Sensor 3 ist im Bereich der 
Scharfenebene 2 (Bildebene) des Objektivs 1 unter einem 
Winkel a zur Scharfenebene 2 schrag angeordnet. 

Bei Ausbildung des Sensors 3 als Flachensensor kann dieser 
15 auch raurnlich schrag angeordnet, d.h. urn zwei Achsen geneigt 
sein. 

Der Abstand x zwischen der Scharfenebene 2 und dem Sensor 3 
ist ein Maft far die Unscharfe. Mit zunehmenden Abstand x zur 
Scharfenebene 2 werden die Bildpunkte eines Objektes einer 
20 Szene unscharf . 

Aus dem UnschSrfeverlauf der Bildpunkte einer Linie mit 
unterschiedlichem Abstand x wird die Entfernung ermittelt. 
Wie das Beispiel in Fig. 3 zeigt, ist es dabei nicht unbe- 
dingt ndtig, dass der Sensor 3 die Scharfenebene 2 schnei- 
25 det. 



Das Abbild einer Objektlinie oder -kante auf der schrag 
gestellten Sensoranordnung ist in Pig. 2 dargestellt. Die 
Linie eines Objektes schneidet entsprechend ihrer Entfernung 
30 vor der Bildaufnahmeeinrichtung die Scharfenebene in einer 
Bildzeile. 
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Die Abbildung eines ausgedehnten Objekts erscheint daher nur 
entlang einer Geraden scharf . Das ist bei Neigung der Sen- 
sorfiache um nur eine Achse die Bildzeile bzw. -spalte, die 
auf der Zeichnung senkrecht veriauft und fttr in der Realitat 
5 senkrecht erscheinende Objektkanten mit ausreichender Aus- 
dehnung auf dem Sensor als „EinschnUrung" (Ort der grSJJten 
Scharf e) erscheint. 

Mit zunehmender Entfernung von dieser Bildzeile wird die 
Abbildung unscharfer oder bei Veranderung der Entfernung des 
10 Objektes wird dieser „EinschnUrungspunkt" nach oben oder 
nach unten wandern. 

In der Abbildung nach Fig. 3 befindet sich das Objekt bzw. 
das Abbild eines Objektliniensegmentes auf der Sensoranord- 

15 nung nicht notwendigerweise in einer Position, in der die 
Scharf enebene geschnitten wird. Der Unscharfeverlauf kann 
bei ausreichender Ausdehnung des Objekts extrapoliert und so 
der Schnittpunkt mit der Scharf enebene berechnet werden. 
Dabei muss berdcksichtigt werden, dass der Zusammenhang 

20 zwischen der Entfernung von der Scharf engeraden im Bild und 
der Unscharfe der Abbildung nur fttr rechtwinklig zur opti- 
schen Achse stehende Objektsliniensegmente linear ist. 

Die Berechnung der Unscharfe in Abhangigkeit von den Zeilen- 
25 nummern einer Sensormatrix ist in Fig. 4 dargestellt. Das 

Diagramm zeigt den Unscharf everlauf von Objektlinien bezogen 
auf unterschiedliche Entfernungen innerhalb des Abbildungs- 
bereiches des Sensors. 

Das Sensorarray besitzt 256 Zeilen f auf dem bei einer Brenn- 
30 weite von 12 mm vier verschieden weit entfernte und Qber das 
ganze aufgenommene Bild verlaufende Objektkanten projiziert 
sind. 
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Die SensorflSche ist urn einen vorgegebenen Winkel a von 
0,01° geneigt und die Kurven entsprechen Ob jektentf ernungen 
von 2, 5, 10 und 100 Metern. 

Die Aufgabe der Entfernungsermittlung besteht darin, den Ort 
5 der minimalen Unscharfe zu bestimmen oder gegebenenfalls zu 
extrapolieren und bei bekannter Kamerageometrie von der 
Zeile der scharfste Abbildung auf die Entfernung der Objekt- 
linie zu schlieiien. 

Der schSrfsten Abbildung ist die Unscharfe 0pm zugeordnet. 
10 Der Ort der scMrfsten Abbildung liegt fur die Objektentfer- 
nung 2m (Strich-Punkt-Linie) auIJerhalb der Sensorf lache* 

Der Wertebereich der Unscharfe von einigen lOjum lSsst also 
einerseits eine ftir die weitere Bildverarbeitung oder - 
anzeige ausreichend scharfe Abbildung zu, verdeutlicht 
15 andererseits aber auch die Notwendigkeit, die Unscharfe und 
ihren Verlauf in dieser Groftenbrdnung zu bestimmen. 
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[ Pa tent an spriiche ] 

1. Verfahren zur Entfernungsbestimmung zwischen einer 
Bildaufnahmeeinrichtung und einem Objekt, bei dem sich 

5 im Bereich der SchSrfenebene der Bildaufnahmeeinrichtung 

eine Sensoranordnung befindet und die Erfassung des Or- 
tes der gr6Bten Sch£rfe durch die Sensoranordnung ein 
MaB ftir die Entfernung zwischen dem Objekt und der Bild- 
aufnahmeeinrichtung darstellt, dadurch gekennzeichnet, 

10 dass auf einer zur Scharfenebene schr&g gestellten Sen- 

soranordnung ein oder mehrere Bildlinien des Objektes 
ausgewahlt werden, die Unscharfe von Objektpunkten je- 
weils einer Bildlinie erfasst und ausgewertet werden und 
der Unscharfeverlauf der Punkte einer Bildlinie ein MaB 

15 ftir den Abstand des Objektes zur Bildaufnahmeeinrichtung 

bildet. 

2. Verfahren zur Entfernungsbestimmung nach Anspruch 1, 
dadurch gekennzeichnet, dass der Verlauf der Unscharfe 

20 von Objektpunkten einer Bildlinie mit bekannten Abbil- 

dungsfunktionen verglichen wird und daraus der genaue 
Abstand des Objektes mit bekannter Abbildungsfunktion 
zur Bildaufnahmeeinrichtung bestimmt wird. 

25 3, Verfahren zur Entfernungsbestimmung nach Anspruch 1, 
dadurch gekennzeichnet, dass der Abstand von Objekten 
mit nicht einer definierten Bildlinie zuordenbaren Ob- 
jektpunkten durch Mehrfachaufnahmen mit unterschiedlich 
ausgerichteten Sensoranordnungen gemessen wird und die 

30 unterschiedlich scharfe Abbildung der Bildinhalte ein 

direktes Aquivalent zur Entfernung der Objekte vor der 
Messeinrichtung ist. 
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4. Verfahren zur Entfernungsbestiramung nach Anspruch 1 und 
3, dadurch gekennzeichnet, dass fur die Mehrfachaufnah- 
men eine Sensoranordnung in mindestens zwei unterschied- 
liche Stellungen definierter Schraglagen bewegt wird und 
in jeder dieser Stellungen jeweils ein Bild aufgenommen 
wird. 

5. Verfahren zur Entfernungsbestimraung nach Anspruch 4, 
dadurch gekennzeichnet, dass eine der Schraglagen der 
Sensoranordnung auch den Winkel a = 0 gegenuber der 
SchSrfenebene annehmen kann, d.h. senkrecht zur opti- 
schen Achse ausgerichtet wird. 

6. Verfahren zur Entfernungsbestimmung nach Anspruch 1 und 
15 3, dadurch gekennzeichnet, dass die Mehrf achauf nahmen 

zeitgleich mit unterschiedlich schrfig ausgerichteten 
Sensoranordnungen durchgefUhrt werden. 



10 



20 



Verfahren zur Entf ernungsbestimmung nach einem der 
vorangegangenen Ansprttche, dadurch gekennzeichnet , dass 
Objekte bestirranter Unscharfe herausgef iltert werden. 



8. Vorrichtung zur Entf ernungsbestimmung zwischen einer 
Bildaufnahmeeinrichtung (1) und einem Objekt mit einer 

25 im Bereich der Scharf enebene (2) der Bildaufnahmeein- 

richtung (1) angeordneten Sensoranordnung (3), dadurch 
gekennzeichnet, dass die Sensoranordnung (3) im Bereich 
der Scharf enebene (2) in mindestens einer Ebene unter 
einem Winkel a schrfig zur SchSrfeebene (2) angeordnet 

30 ist. 

9. Vorrichtung zur Entf ernungsbestimmung nach Anspruch 8, 
dadurch gekennzeichnet, dass die Sensoranordnung (3) urn 
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eine Achse senkrecht zur Schfirfenebene geneigt angeord- 
net ist. 

10. Vorrichtung zur Entf ernungsbestimmung nach Anspruch 8, 

5 dadurch gekennzeichnet, dass die Sensoranordnung (3) urn 

zwei Achsen senkrecht zur Scharf enebene geneigt angeord- 
net ist. 

11. Vorrichtung zur Entf ernungsbestimmung nach Anspruch 8, 
10 dadurch gekennzeichnet, dass die Sensoranordnung (3) iru 

Bereich der Schcirf enebene (2) in zwei oder mehrere Win- 
kel a bewegbar angeordnet ist. 

12. Vorrichtung zur Entf ernungsbestimmung nach Anspruch 8, 
15 dadurch gekennzeichnet, dass im Bereich der Scharf enebe 

ne (2) zwei oder mehrere Sensoranordnungen (3) mit un- 
terschiedlichen Winkeln a angeordnet sind. 



20 



13. 



Vorrichtung zur Entf ernungsbestimmung nach Anspruch 8, 
dadurch gekennzeichnet, dass die Sensoranordnung (3) ei- 
ne Sensormatrix ist. 
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[Anh&ngende Zeichnungen] 



Anzahl AnhSngende Zeichnungen: [1] 



Fig. 1 
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Fig. 2 




Fig. 3 
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Fig. 4 
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